AAAI-2017见闻 | 那些最牛逼的公司都在研究什么
吴忠伙，携程技术中心基础业务研发部资深算法工程师。2013年加入携程，目前专注于个性化推荐，自然语言处理等领域在旅游行业的应用研究和实践落地。
AAAI-2017 (the Thirty-First AAAI Conference on Artificial Intelligence )今年2月4日至9日在美国旧金山举办。在会议进行几天里，因恰逢雨季（差不多从11月至第二年的3月），旧金山几乎天天在下雨。忙里偷闲去的金门大桥，也被雨水和雾气笼罩着，见图1。
图1 金门大桥
AAAI成立于1979年，原名美国人工智能协会(American Association for Artificial Intelligence)，2007年正式更名为人工智能促进协会(Association for the Advancement of Artificial Intelligence)。目前，AAAI是全球人工智能领域顶级的学术会议，人工智能领域研究的风向标，在全球有超过230+的Fellows，4000+的Members。
AAAI 2017会议包含了很多项目，有Tutorials、Invited talk、panels、AI in practice、Technical talk、poster/demo session、Awards Ceremony、workshop、Doctoral Consortium、Opening Reception等等. 安排的十分紧凑，只能有选择性的参加了一些项目，给大家分享一下。
AAAI这次在湾区举办，充分利用地理优势，专门设立了“AI in Practice”项目。邀请了Google、Facebook、Amazon 、LinkedIn、Uber、IBM、Quora、百度，八家科技公司人工智能负责人来分享各自领域的技术和研究进展。
Google Brain Team的首席科学家Vincent Vanhoucke分别介绍了他们团队在图像、语音、机器翻译方面的研究成果，以及机器人方面的工作，他讲述了机器人领域很多值得深究的点，比如如何协调感知和执行，如何提高样本的有效使用等等。
Amazon的机器学习总监Alex Smola做了Scalable and personal deep learning with MXNet主题分享，大谈深度学习框架，以及好的深度学习框架需要满足的条件，并且拿MXNet 与Caffe、TensorFlow等做了比较。
Facebook的Applied Machine Learning 负责人Joaquin Quinonero Candela做了Designing AI at Scale to Power Everyday Life主题演讲，他们开发的学习系统可以快速应用于图像、文本、语音等方面任务，其还拿图像识别平台Lumos举了一些案例，直观的展示了功能和算法的强大。
大会安排了很多场的Invited Talk/keynote，其中有一场是来自MIT Media Lab的大牛人、“情感计算”之母Picard教授，题目是Adventures in Building Emotion Intelligence Technologies。她主要介绍了为什么要研究“情绪计算”，“情绪计算”的由来，提到了一些用于情绪计算的机器学习算法效果。在演讲中还展示了：实时面部表情情绪识别APP-AffdexMe；通过智能手表监测紧张与焦虑；使用智能手机监测心率、呼吸频率等；还有监测大脑活动、癫痫猝死症等等方面的成果。而她的团队最近在研究如何应用AI技术预防抑郁症，这是非常有意义的事情。
图2 视频图像情绪识别
图3 视频图像情绪识别
论文Oral/Poster分享宣读部分，每个时段大概同时8-9个session在8-9个场地同时进行，大家各自选择关注的session、关注的论文进行听讲。当天晚上会有白天宣读过的论文，进行poster，对你的论文工作感兴趣的人会找到你摊子跟你一起进行深度交流。观察下来，最火的session还是跟深度学习应用研究相关，会场不仅坐满人，还站着一大批。关于AI系统部署研究关注的人也比较多。
今年的杰出论文奖是颁发给Stanford的Russell Stewart和Stefano Ermon，他们提出一个开创性的研究工作成果，Label-Free Supervision of Neural Networks with Physics and Domain Knowledge的灵感来自人类的学习过程，文章提到一种新的神经网络监督学习，不需要给出输入-输出这种标记直接方案，可以通过满足特定约束条件和物理定律来指定输出空间。论文展示了不带任何直接标签的情况下，通过约束学习做了三个案例实验，方法成功训练了CNN用来检测和跟踪对象，效果还是不错。
另外也有很多其它有趣的论文，例如图5来自google的Inception-V4，Inception-ResNet and the Impactof Residual Connections on Training(结合了Residual Connection, 发现极大加速训练，提升性能，另外还提出了一个更深更优化的模型Inception-V4)，大家有兴趣可以去翻看会议的论文集。
图4 每天晚上poster都爆满
图5 google提出的Inception-V4, ResNet
图6 雅虎提出了分布式的负采样用于单词嵌入
图7 很火的GANs相关应用研究
另外，会议还有多个Panel, 分别讨论了AI Ethics Education、AI for Education、AI for Social Good、AI History: Expert Systems 和 Advances in AI in Poker: Two Mini-Talks on Recent Breakthroughs and a Panel。我们参与了AI for Social Good这个panel，大家都对AI在帮助社会公益有非常多的想法，无论是讲台上几位教授，还是台下的听众，讨论持续了很久，挺有意思。
携程是第一次站在这样一个国际顶级学术会议的舞台上展示自己的研究成果。文章A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems，是基于公司自主研发的通用化推荐系统而写成。
论文提出了一种Additional Stacked Denoising Autoencoder (aSDAE)的深度模型用来学习User及Item的隐向量，该模型的输入为用户或物品的评分值列表。每个隐层都会接受其相应的Side information信息的输入(该模型灵感来自于NLP中的Sequence-to-Sequence模型，每层都会接受一个输入，模型中每层接受的输入都是一样，因此最终的输出也尽可能的与输入相等)，模型见图8。
图8 Additional Stacked Denoising Autoencoder(aSDAE)
结合aSDAE与矩阵分解模型，提出了一种混合协同过滤模型，见图9。该模型通过两个aSDAE学习User与Item的隐向量，并利用学习到的隐向量的内积去拟合原始评分矩阵R中存在的值，其目标函数由矩阵分解以及两个aSDAE的损失函数组成，最终通过SGD优化目标函数学习得到User和Item隐向量。在多个数据集上做了对比实验，结果显示混合协同过滤模型在比已有方案性能都要表现的好，具体可以参考paper。
图9 混合协同过滤模型
OTA与传统电商网站不同，用户低频使用、低频消费导致数据稀疏性问题很严重。论文主要解决数据稀疏性问题，目前论文成果已经在50余个通用化推荐系统支持的个性化场景中使用，个别场景转化率提升了13倍之多，有效提升了用户的出行体验，为公司带来很大的经济效益。
未来，除了个性化推荐领域，我们还会在自然语言处理、图像、语音等方向做深入的实践和研究。相信不久的将来，携程会有更多的研究成果出现在人工智能相关顶级会议上，分享给大家。
对携程paper感兴趣的小伙伴，可在“携程技术中心”微信公号后台留下邮箱，我们将paper原文邮件给你。
推荐阅读：